Philippe d'Alsace, comte de Flandre, a fait construire ce château fort en 1180. A partir du XIVe siècle la forteresse perdit sa fonction militaire.
Dès lors le château connut différentes destinations: la Monnaie y fut frappée, la Cour de Justice y tenait audience et y détenait les malfaiteurs; enfin une filature de coton y fut installée. Le château fort comprend des salles historiques, des cryptes et des oubliettes Le château abrite également le musée des objets de justice.